66问答网
所有问题
当前搜索:
spark on hive
Flink实战之Kafka To
Hive
答:
传统的入库任务一般借助于MapReduce或者
Spark
来写
hive
表,一般都是天级别最多小时级别的任务。随着实时性要求越来越高,传统的入库不太能满足需求。Flink完全基于流式处理,同时也支持了写
Hive
表。本文介绍一下如果通过FlinkSQL实现kafka数据入库hive,并能够实时可查。由于写hive表必须基于hive catalog,所以...
Hudi
Hive
sync 使用
答:
然后我们进入beeline,执行:我们可以看到同步过来的 t1 表。然后执行:可以从
Hive
中查出Hudi表数据。如果执行Flink的时候遇到如下错误:需要修改 packaging/hudi-flink-bundle/pom.xml ,在 relocations 标签中加入:然后重新编译。参考链接:https://github.com/apache/hudi/issues/3042
Spark
Hive Sync...
2021-05-28-
Hive
-21(求取前10%的四种方法)
答:
一般的求取前20%,就是使用两个窗口函数,如下获取 这种写法是一般的写法,当然也可以把count放在where那,来获取总的行数
hive
中提供了一个非常有用的函数桶函数,把全部的数据分成5个桶获取第一个桶即可 percentile_approx / percentile --
spark
approx_percentile -- presto kylin percentile_approx(...
hive
查询为什么在yarn上看不到
答:
原因应该是用户提交一个sql到
Hive
Server后立马关闭了session,而此时
Spark
ClientImpl又刚好在阻塞等待来自RemoteDriver的连接。1.Hive要提交一个Spark任务时,会先通过
spark
-submit提交一个spark程序到yarn集群运行。而运行的MainClass就是RemoteDriver2.RemoteDriver在yarn的container启动后,会主动去连接Hiveserver...
spark
几种部署模式,每种模式特点及搭建
答:
搭建步骤:(中间有报错:raise IllegalArgumentException(s.split(': ', 1)[1], stackTrace) pyspark.sql.utils.IllegalArgumentException: u'Unable to locate
hive
jars to connect to metastore. Please set
spark
.sql.hive.metastore.jars.',网上提示查看jdk版本,发现ubuntu 18.04默认是open...
大数据核心技术有哪些
答:
3、数据清洗:MapReduce作为Hadoop的查询引擎,用于大规模数据集的并行计算。4、数据查询分析:
Hive
的核心工作就是把SQL语句翻译成MR程序,可以将结构化的数据映射为一张数据库表,并提供HQL(HiveSQL)查询功能。
Spark
启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。5、数据...
spark
sql可以处理的数据源包括哪些
答:
包括数据文件、
Hive
表、RDD、外部数据库。
Spark
SQL是Spark用来处理结构化数据的模块,常用的数据源有:常用的结构化文件如:Json、Parquet、Orc、Avro、TextJdbc相关的数据库Hive表。
为什么我的
Spark
sql这么慢
答:
此外,除了兼容HQL、加速现有
Hive
数据的查询分析以外,
Spark
SQL还支持直接对原生RDD对象进行关系查询。同时,除了HQL以外,Spark SQL还内建了一个精简的SQL parser,以及一套Scala DSL。也就是说,如果只是使用Spark SQL内建的SQL方言或Scala DSL对原生RDD对象进行关系查询,用户在开发Spark应用时完全不需要...
大数据运算的三种引擎是什么?有什么区别?
答:
3)Shark/
Spark
:为了提高Map-Reduce的计算效率,Berkeley的AMPLab实验室开发了Spark,Spark可看做基于内存的Map-Reduce实现,此外,伯克利还在Spark基础上封装了一层SQL,产生了一个新的类似
Hive
的系统Shark。4) Stinger Initiative(Tez optimized Hive):Hortonworks开源了一个DAG计算框架Tez,Tez可以理解为...
Spark
SQL 和 Shark 在架构上有哪些区别?将来会合并吗
答:
同时,除了HQL以外,
Spark
SQL还内建了一个精简的SQL parser,以及一套Scala DSL。也就是说,如果只是使用Spark SQL内建的SQL方言或Scala DSL对原生RDD对象进行关系查询,用户在开发Spark应用时完全不需要依赖
Hive
的任何东西。Spark SQL解决了这两个问题。第一,Spark SQL在Hive兼容层面仅依赖HQL parser、...
首页
<上一页
3
4
5
6
8
7
9
10
11
12
下一页
尾页
其他人还搜